• 专利附录
  • 专利说明
  • 权利要求
  • 类似技术
  • 同族专利
  • 引用文献
  • 法律状态
  • 优先权
    • 专利摘要:
    Eine Betätigungseingabevorrichtung enthält in Kombination eine Flüssigkristallanzeige und eine Fresnel-Linse, um ein dreidimensionales virtuelles Bild in einem virtuellen Raum vor einem Fahrzeugfahrersitz anzuzeigen, um es einem Insassen des Sitzes zu ermöglichen, einen Betätigungsbefehl für eine fahrzeuginterne Einheit einzugeben. Ein Bild des Insassen und das Bild im virtuellen Raum werden durch eine Bildaufnahmeeinrichtung aufgenommen. Eine ECU erkennt eine Bewegung einer Hand des Insassen innerhalb des virtuellen Raumes durch eine hinsichtlich der aufgenommenen Bilder durchgeführte Bildverarbeitung. Wenn die erkannte Bewegung mit einer vorbestimmten Bewegung in Bezug auf das dreidimensionale Bild, das im virtuellen Raum angezeigt wird, übereinstimmt, wird von der ECU bestimmt, dass ein Betätigungsbefehl für die fahrzeuginterne Einheit eingegeben wurde. Die ECU gibt den Betätigungsbefehl an die fahrzeuginterne Einheit aus und ändert das dreidimensionale Bild im virtuellen Raum entsprechend dem Betätigungsbefehl.
    公开号:DE102004022494A1
    申请号:DE102004022494
    申请日:2004-05-07
    公开日:2004-12-02
    发明作者:Rieko Kariya Fukushima；Masaki Kariya Inomae；Yuji Kariya Tsuchiya
    申请人:Denso Corp；
    IPC主号:G01C21-00
    专利说明:
    [0001] Dievorliegende Erfindung betrifft eine Betätigungseingabevorrichtung,die so ausgelegt ist, dass sie anhand einer Bewegung einer Handeines Nutzers einen durch den Nutzer ausgegebenen Betätigungsbefehlidentifiziert und den identifizierten Betätigungsbefehl an eine zu betätigendeVorrichtung ausgibt.
    [0002] Essind Eingabevorrichtungen bekannt, die derart aufgebaut sind, dass,um es einem Fahrzeuginsassen zu ermöglichen, eine fahrzeuginterne Einheitohne direkte Berührungder Einheit zu betätigen,ein Raum bzw. Freiraum, in den bzw. zu dem der Fahrzeuginsasse seineHand Strecken kann, währender auf einem Sitz sitzt, als ein virtueller Raum vorgesehen ist,ein Bild im virtuellen Raum aufgenommen wird, um eine Bewegung derHand des Insassen innerhalb des virtuellen Raumes aus dem bzw. anhanddes aufgenommenen Bild zu erkennen, und ein Betätigungsbefehl, der vom Insassenausgegeben wird, auf der Grundlage der erkannten Bewegung der Handdes Insassen bestimmt wird. Ein Beispiel einer derartigen bekanntenEingabevorrichtung ist in der japanischen Patentoffenlegungsschrift (JP-A)Nr. 2000-75991 beschrieben.
    [0003] Gemäß der beschriebenenEingabevorrichtung kann der Fahrzeuginsasse verschiedene fahrzeuginterneEinheiten oder Vorrichtungen einschließlich einer Klimaanlage, einerNavigationseinheit usw. ohne direkte Berührung eines Steuerpaneels einer jeweiligenEinheit betätigen.Somit kann eine Betätigungseingabehinsichtlich der einzelnen fahrzeuginternen Einheiten mit äußersterLeichtigkeit durchgeführtwerden.
    [0004] Außerdem istdie beschriebene Eingabevorrichtung zur Vermeidung einer falschenEingabe so ausgelegt, dass das Ergebnis einer Bestimmung, die hinsichtlichdes Betätigungsbefehlsdurchgeführt wird,dem Fahrzeuginsassen mittels einer Sprachnachricht mitgeteilt beziehungsweisezurückgegeben wird.Somit kann sogar dann, wenn die Eingabevorrichtung eine falscheBestimmung fürden Betätigungsbefehltrifft, der Insasse, der seine Hand innerhalb des virtuellen Raumesbewegt, das Ergebnis einer derartigen falschen Bestimmung löschen beziehungsweisewiderrufen.
    [0005] ZurBetätigungder fahrzeuginternen Einheiten mittels der herkömmliche Eingabevorrichtung mussder Fahrzeuginsasse jedoch seine Hand innerhalb des virtuellen Raumesbewegen, in dem nichts anderes als die Hand des Insassen vorhandenist. Diese Anforderung kann zu dem Problem führen, dass die Nutzbarkeitder Eingabevorrichtung insbesondere für einen Fahrzeuginsassen, dermit der Betätigunginnerhalb des virtuellen Zwischenraumes unerfahren ist, sehr geringist. Außerdembesteht ein anderes Problem darin, dass, wenn die Eingabevorrichtungfür denBetätigungsbefehleine falsche Bestimmung trifft, das Ergebnis einer derartigen falschenBestimmung nicht erfolgreich widerrufen bzw. gelöscht werden kann, obwohl derFahrzeuginsasse übereine derartige falsche Betätigungdurch eine Sprachrückmeldungbenachrichtigt wird.
    [0006] Daherist es eine Aufgabe der vorliegenden Erfindung, eine Betätigungseingabevorrichtungvom oben beschriebenen Typ anzugeben, die hinsichtlich ihrer Nutzbarkeitderart verbessert ist, dass der Nutzer eine zu betätigendeVorrichtung leicht und zuverlässigbetätigenkann.
    [0007] DieAufgabe wird mit den Merkmalen des unabhängigen Anspruchs gelöst. DieabhängigenAnsprüchesind auf bevorzugte Ausführungsformender Erfindung gerichtet.
    [0008] Erfindungsgemäß wird eineBetätigungseingabevorrichtungangegeben, die aufweist: eine Bildanzeigeeinrichtung zum Anzeigeneines dreidimensionalen Bildes in einem vorbestimmten virtuellen Raum;eine oder mehrere Bildaufnahmeeinrichtungen zum Aufnehmen einesBildes in einem Bereich einschließlich dem virtuellen Raum;und eine Erkennungseinrichtung zum Erkennen einer Bewegung einerHand eines Nutzers innerhalb des virtuellen Raumes anhand des vonder Bildaufnahmeeinrichtung aufgenommenen Bildes. Die Betätigungseingabevorrichtungenthältaußerdemeine Steuereinrichtung, die so ausgelegt ist, dass sie die Bildanzeigevorrichtungveranlasst oder ansteuert, ein dreidimensionales Bild zur Betätigung einerzu betätigendenVorrichtung anzuzeigen, einen vom Nutzer ausgegebenen Betätigungsbefehlanhand der Bewegung der Hand des Nutzers, die durch die Erkennungseinrichtungerkannt wird, identifiziert, währenddas dreidimensionale Bild angezeigt wird, das durch die Bildanzeigeeinrichtungangezeigte dreidimensionale Bild entsprechend dem identifiziertenBetätigungsbefehl ändert undden Betätigungsbefehlan die zu betätigende Vorrichtungausgibt.
    [0009] Mitder derart aufgebauten Betätigungseingabevorrichtungwird es dem Nutzer ermöglicht,einen gewünschtenBetätigungsbefehlhinsichtlich der zu betätigendenVorrichtung durch geeignete Bewegung (Stoßen, Greifen oder Winken) seinerHand innerhalb des virtuellen Raumes einzugeben, während erdas in dem virtuellen Raum zur Betätigung durch den Nutzer angezeigtedreidimensionale Bild visuell bestätigt bzw. bestätigt findet.Somit muss der Nutzer nicht mehr wie bei der herkömmlichenBetätigungseingabevorrichtungseine Hand innerhalb eines Raumes be wegen, in dem sich nichts befindet.Dementsprechend ist die Nutzbarkeit der Betätigungseingabevorrichtung dervorliegenden Erfindung im Vergleich zur herkömmlichen Vorrichtung sehr hoch,und es kann eine falsche Betätigungdurch den Nutzer vermieden werden.
    [0010] Dasich das im virtuellen Raum zur Betätigung durch den Nutzer angezeigtedreidimensionale Bild jedoch entsprechend dem durch die Steuereinrichtungidentifizierten Betätigungsbefehl ändert, ermöglicht esdie Änderungim dreidimensionalen Bild, dass der Nutzer das Ergebnis der Betätigung zuverlässig bestätigen bzw.bestätigtfinden kann. Sogar wenn eine falsche Betätigung durch den Nutzer stattfindet,ist es leicht möglich,die falsche Betätigung durchWiederholen der Betätigungwährendder Beobachtung des dreidimensionalen Bildes zu korrigieren. Diesesverbessert die Nutzbarkeit der Betätigungseingabevorrichtung nochweiter.
    [0011] Esist wahr, dass die Betätigungseingabevorrichtungder vorliegenden Erfindung durch das Anzeigen eines dreidimensionalenBildes im virtuellen Raum zur Betätigung durch den Nutzer dieNutzbarkeit verbessern kann, wenn der Nutzer seine Hand innerhalbdes virtuellen Bildes bewegt, um einen Betätigungsbefehl einzugeben. Ineiner Anwendung, in der die Eingabe eines Betätigungsbefehles an eine jeweiligezu betätigendeVorrichtung eine Hauptanforderung darstellt, oder wenn die zu betätigende Vorrichtungverschiedene Arten von zu steuernde Betätigungen aufweist, ist es praktischunmöglich, alleGegenständeder Informationen anzuzeigen, die mittels eines einzigen dreidimensionalenBildes betätigbarsind.
    [0012] Indiesem Fall ist es vorteilhaft, dass die Steuereinrichtung vor derAnsteuerung der dreidimensionalen Bildanzeigeeinrichtung zur Anzeigedes dreidimensionalen Bildes zur Betätigung der zu betätigendenVorrichtung die dreidimensionale Bildanzeigeeinrichtung zur Anzeigeeines dreidimensionalen Bildes ansteuert, das es einem Nutzer ermöglicht,die Auswahl einer zu betätigendenVorrichtung oder einer Art einer Betätigung einer zu betätigendenVorrichtung durchzuführen,anhand der Bewegung der Hand des Nutzers die zu betätigendeVorrichtung oder die Art der vom Nutzer ausgewählten Betätigung, die von der Erkennungseinrichtungerkannt wird, identifiziert, währenddas dreidimensionale Bild angezeigt wird, und anschließend entsprechendeinem Ergebnis der Erkennung die dreidimensionale Bildanzeigeeinrichtungansteuert, um ein dreidimensionales Bild zur Betätigung der zu betätigendenVorrichtung anzuzeigen.
    [0013] Mitder derart aufgebauten Steuereinrichtung ist der Nutzer in der Lage,durch alleiniges Bewegen seiner Hand innerhalb des virtuellen Raumeseine gewünschtezu betätigendeVorrichtung oder eine gewünschteArt von durchzuführenderBetätigung auszuwählen, während erein zum Zwecke der Auswahl im virtuellen Raum angezeigtes dreidimensionalesBild beobachtet. Auf der Grundlage der somit durchgeführten Auswahlwird ein dreidimensionales Bild zur Betätigung durch den Nutzer imvirtuellen Raum angezeigt. Dieses gewährleistet, dass für die Mehrzahlan zu betätigendenVorrichtungen und für diezahlreichen Arten von durchzuführendenBetätigungendurch eine einfache vom Nutzer durchgeführte Tätigkeit ein Betätigungsbefehleingegeben werden kann.
    [0014] Indiesem Fall werden die dreidimensionalen Bilder, die für die Auswahlder zu betätigendenVorrichtung oder die Art der durchzuführenden Betätigung bereitgestellt werden,vorzugsweise im Voraus auf ähnlicheWeise wie ein allgemeines hierarchisches Menü geschichtet oder hierarchisiert,so dass der Nutzer die hierarchisch aufgebauten dreidimensionalenBilder aufeinanderfolgend ändernkann, bis ein gewünschtesdreidimensionales Bild zur Betätigungdurch den Nutzer ausgewähltist.
    [0015] Dasim virtuellen Raum zur Betätigungdurch den Nutzer angezeigte dreidimensionale Bild kann die Formvon dreidimensional angezeigten Knöpfen oder Ähnlichem (Steuerungen) annehmen.Vorzugsweise werden tatsächlicheBetätigungsbedingungen einerzu betätigendenVorrichtung erfasst und die erfassten Betätigungsbedingungen durch eindreidimensionales Bild angezeigt. Dieser Aufbau ermöglicht esdem Nutzer, einen gewünschtenBetätigungsbefehlunter unmittelbarer Bestätigungder tatsächlichenBetätigungsbedingungender betätigtenVorrichtung, die anhand des angezeigten Bildes erlangt bzw. ermitteltwerden, einzugeben. In diesem Beispiel kann der Nutzer einfach dasErgebnis der Betätigungsbefehlseingabebetätigung bestätigen bzw. bestätigt finden,da das Ergebnis einer Eingabe des Betätigungsbefehls innerhalb desvirtuellen Raumes als eine Änderungder Betätigungsbedingungender betätigtenVorrichtung angezeigt wird.
    [0016] DieBetätigungseingabevorrichtungkann eine Fahrzeugbetätigungseingabevorrichtungsein, die so ausgelegt ist, dass sie einem Nutzer eines Fahrzeugsermöglicht,eine fahrzeuginterne Einheit zu betätigen. In der Fahrzeugbetätigungseingabevorrichtungist die Bildanzeigeeinrichtung fürdreidimensionale Bilder vor einem Sitz des Fahrzeugs angeordnetund so aufgebaut, dass der virtuelle Raum durch einen Raum ausgebildetist, in den der Insasse des Sitzes seine Hand Strecken kann undder auch das dreidimensionale Bild, das einem Insassen, der aufdem Sitz sitzt, angezeigt wird, aufweist. Die Bildaufnahmeeinrichtungist zusammen mit der Bildanzeigeeinrichtung für dreidimensionale Bilder vordem Fahrzeugsitz angeord net und so ausgelegt, dass sie von der Seitevor dem Insassen her ein Bild des Insassen des Sitzes aufnimmt.
    [0017] Mitder derart aufgebauten Fahrzeugbetätigungseingabevorrichtung kannder Insasse des Fahrzeugsitzes die fahrzeuginterne Einheit leichtbetätigen,ohne genötigtzu sein, seine Sitzposition auf dem Fahrzeugsitz zu ändern.
    [0018] Imfolgenden wird beispielhaft eine bevorzugte Ausführungsform der vorliegendenErfindung genauer mit Bezug auf die zugehörigen Zeichnungen beschrieben,in denen identische oder einander entsprechende Teile mit den selbenBezugszeichen bezeichnet sind. Es zeigen:
    [0019] 1 eine schematische Darstellungdes allgemeinen Aufbaus einer Betätigungseingabevorrichtung gemäß einerAusführungsformder vorliegenden Erfindung;
    [0020] 2 ein Blockdiagramm desAufbaus einer elektrischen Steuereinheit (ECU) zur Betätigungseingabeund andere ECUs fürverschiedene fahrzeuginterne Einheiten, die über einen Kommunikationskanalmit der Betätigungseingabe-ECUverbunden sind;
    [0021] 3 ein Flussdiagramm, daseine von der Betätigungseingabe-ECUdurchgeführteSteuerungsprozedur zeigt;
    [0022] 4A bis 4D piktographische Darstellungen, diedie Art und Weise zeigen, wie die Betätigung einer fahrzeuginternenEinheit unter Verwendung dreidimensionaler Bilder gesteuert wird,die in einem virtuellen Raum der Betätigungseingabevorrichtung dervorliegenden Erfindung angezeigt werden.
    [0023] 1 zeigt schematisch undbeispielhaft den allgemeinen Aufbau einer Betätigungseingabevorrichtung gemäß der vorliegendenErfindung. Wie es in dieser Figur gezeigt ist, ist die Betätigungseingabevorrichtung 1 zumEingeben von Betätigungsbefehlendurch einen Insassen Pn eines Sitzes Sn eines Navigators eines FahrzeugsV in dem Fahrzeug V angebracht. Die Betätigungseingabevorrichtung 1 weistim allgemeinen eine Flüssigkristallanzeige 2 undeine Fresnel-Linse 4, die an einem FahrzeugvorderpaneelFP vor dem Insassensitz SN angeordnet sind, eine Bildaufnahmevorrichtung 6,die auf dem Vorderpaneel FP angeordnet ist, und eine elektronischeSteuereinheit 10 fürdie Betätigungseingabe auf.Die elektronische Steuereinheit 10 wird im folgenden als "Betätigungseingabe-ECU" bezeichnet.
    [0024] DieFlüssigkristallanzeige 2 unddie Fresnel-Linse 4 bilden zusammen eine erfindungsgemäße Bildanzeigeeinrichtungoder -einheit fürdreidimensionale Bilder, die so aufgebaut ist, dass sie Lichtinformationenderart aussendet, dass jedes Auge des Insassens Pn des Sitzes Snein anderes Bild sieht, mit dem Ergebnis, dass ein virtuelles Bild Iv(dreidimensionales Bild) in einem Raum Sv (virtueller Raum) angezeigtwird, in den der Insasse Pn seine Hand oder Hände strecken kann, während er seineSitzposition auf dem Sitz Sn beibehält.
    [0025] Genauergesagt enthältdie Flüssigkristallanzeige 2 einFlüssigkristallanzeigepaneel,das parallaktisch erste und zweite Bilder (d. h. stereoskopischeBilder) abwechselnd in Zeitteilung anzeigt, und zwei Lichtquellen,die Lichtstrahlen abwechselnd von unterschiedlichen Richtungen aufdas Flüssigkristallanzeigepaneelaussenden, so dass die ersten und zweiten Bilder, die auf dem Flüssigkristallanzeigepaneelangezeigt werden, selektiv auf die jeweiligen Augen des InsassenPn projiziert werden. Die Fresnel-Linse 4, die vor demFlüssigkristallanzeigepaneel angeordnetist, wandelt die stereoskopischen Bilder, die auf dem Flüssigkristallanzeigepaneelangezeigt werden, in ein vergrößertes virtuellesBild (dreidimensionales Bild) um.
    [0026] DieStruktur der Flüssigkristallanzeige 2 ist bekanntund z. B. in den japanischen Patentoffenlegungsschriften Nr. 9-222584,2000-50316 und 2001-218231 beschrieben, und es wird deren weitere Beschreibungweggelassen.
    [0027] DieBildaufnahmevorrichtung 6 weist eine CCD- (charged coupleddevice) Kamera auf, die ein Bild (zweidimensionales Bild) in einemBereich, der vor dem Insassen Pn angeordnet ist und den virtuellenRaum Sv enthält,in dem das dreidimensionale Bild mittels der Flüssigkristallanzeige 2 undder Fresnel-Linse 4 angezeigt wird, aufnehmen kann. Die Bildaufnahmevorrichtung 6 bildeteine erfindungsgemäße Bildaufnahmeeinrichtung.
    [0028] Zurkontrollierten bzw. gesteuerten Betätigung verschiedener fahrzeuginternerEinheiten einschließlicheiner Klimaanlage, einer Navigationseinheit und einer Audioeinheitist die Betätigungseingabe-ECU 10 soausgelegt, dass sie die Flüssigkristallanzeige 2 veranlasstoder ansteuert, ein dreidimensionales Bild Iv innerhalb des virtuellenRaumes Sv anzuzeigen, ein von der Bildaufnahmevorrichtung 6 aufgenommenesBild einliest, währenddas Bild auf der Flüssigkristallanzeige 2 angezeigtwird, eine Bildverarbeitung fürdas aufgenommene Bild durchführt, umeine Bewegung einer Hand eines Insassens innerhalb des virtuellenRaumes Sv zur erkennen, und anhand des Ergebnisses der Erkennungeinen vom Insassen Pn ausgegebenen Betätigungsbefehl identifiziert.
    [0029] Wiees in 2 gezeigt ist,besteht die Betätigungseingabe-ECU 10 auseinem an sich bekannten Mikrocomputer, der eine zentrale Verarbeitungseinheit(CPU) 12, einen nur-Lese-Speicher (ROM) 14, einenSpeicher mit wahlfreiem Zugriff (RAM) 16 und eine Busleitung,die die CPU 12, den ROM 14 und den RAM 16 miteinanderverbindet, enthält.
    [0030] DieBetätigungseingabe-ECU 10 enthält außerdem einenAnzeigesteuerabschnitt 22 zum Ansteuern der Flüssigkristallanzeige 2 zumAnzeigen von stereoskopischen Bildern, einen Anzeigedatenspeicherabschnitt 24 zumSpeichern von Anzeigedaten, die zur Ansteuerung der Flüssigkristallanzeige 2 verwendetwerden, um die stereoskopischen Bilder anzuzeigen, einen Bildverarbeitungsabschnitt 26 zumVerarbeiten eines von der Bildaufnahmevorrichtung 6 aufgenommenenBildes, um eine Position oder Form der Hand des Insassen oder Nutzerszu erkennen, einen Betätigungsmusterspeicherabschnitt 28 zumSpeichern von Betätigungsmustern, diezur Identifikation eines vom Insassen ausgegebenen Betätigungsbefehlsanhand einer Bewegung der Hand des Insassen verwendet werden, undeinen Kommunikationsabschnitt 20, der eine Datenkommunikationzwischen sich selbst und einer Klimaanlagen-ECU 30, einerNavigations-ECU 40 undeiner Audio-ECU 50 der fahrzeuginternen Einheiten über dieKommunikationsleitung 8 durchführt.
    [0031] Durchdie CPU 12, die in der Betätigungseingabe-ECU 10 untergebrachtist, wird die Flüssigkristallanzeige 2 angesteuert,um ein dreidimensionales Bild Iv (1)innerhalb des virtuellen Raumes Sv (1)zur Betätigungeiner fahrzeuginternen Einheit anzuzeigen, ein vom Insassen ausgegebener Betätigungsbefehlwird anhand eines durch die Bildaufnahmevorrichtung 6 aufgenommenenBildes identifiziert, und der identifizierte Betätigungsbefehl wird an die Klimaanlagen-ECU 30,Navigations-ECU 40 und Audio-ECU 50 übertragen,so dass eine Betätigungder entsprechenden fahrzeuginternen Einheiten (d. h. der Klimaanlage,Navigationseinheit und Audioeinheit) durch die jeweiligen ECUs 30, 40, 50 gesteuertwerden.
    [0032] EineSteuerungsprozedur, die von der Betätigungseingabe-ECU 10 durchgeführt wird(genauer gesagt der CPU 12), um eine Eingabe eines Betätigungsbefehlsvom Insassen Pn aufzunehmen, wird im Folgenden mit Bezug auf dasFlussdiagramm der 3 beschrieben.
    [0033] BeimAusführender Steuerungsprozedur wird angenommen, dass Betätigungseinheitauswahlbilder,die es dem Insassen ermöglichen,eine gewünschtezu betätigendefahrzeuginterne Einheit unter den fahrzeuginternen Einheiten auszuwählen, Betätigungsartauswahlbilder,die es dem Insassen ermöglichen,eine gewünschteArt einer auszuführendenBetätigungaus Betätigungsarteneiner jeweiligen fahrzeuginternen Einheit auszuwählen, und Betätigungsbefehleingabebilder,die jeweiligen Betätigungsarten,die vom Insassen auswählbarsind, entsprechen, in dem Anzeigedatenspeicherabschnitt 24 ingeschichteter oder hierarchischer Form als Anzeigedaten zum Anzeigenvon dreidimensionalen Bildern gespeichert werden.
    [0034] Auf ähnlicheWeise werden verschiedene Betätigungsmuster,die jeweils einem der im Anzeigedatenspeicherabschnitt 24 gespeichertenBilder entsprechen, im Betätigungsmusterspeicherabschnitt 28 gespeichert,um eine Identifikation eines Auswahlbefehls oder eines vom Insassenausgegebenen Betätigungsbefehlsanhand einer Bewegung der Hand des Insassen zu ermöglichen,währendein jeweiliges Bild innerhalb des virtuellen Raumes Sv (1) angezeigt wird.
    [0035] Wiees in 3 gezeigt ist,startet die CPU 12 mit der Ausführung der Steuerungsprozedurin einem Schritt 110. Im Schritt 110 werden Anzeigedaten bezüglich Betätigungseinheitauswahlbildernaus dem Anzeigedatenspeicherabschnitt 24 ausgelesen undan den Anzeigesteuerabschnitt 22 geleitet, wobei die Flüssigkristallanzeige 2 angesteuertwird, um ein dreidimensionales Bild im virtuellen Raum zur Auswahleiner gewünschtenzu betätigendenfahrzeuginternen Einheit anzuzeigen (im Folgenden der Kürze wegenals "betätigte Einheit" bezeichnet). In derdargestellten Ausführungsformwerden, da die Anzahl der betätigtenfahrzeuginternen Einheiten drei beträgt (d. h. Klimaanlage, Navigationseinheit undAudioeinheit), drei Auswahlblöckeoder Bälle,die jeweils eine entsprechende betätigte Einheit repräsentierten,innerhalb des virtuellen Raumes angezeigt, als ob sie in der Luftschweben.
    [0036] Anschließend wirdim Schritt 120 ein Erkennungsergebnis, das für die Positionund Form einer Hand eines Insassen durch eine Bildverarbeitung hinsichtlicheines aufgenommenen Bildes erhalten wird, von dem Bildverarbeitungsabschnitt 26 ausgelesen.Danach wird im Schritt 130 bestimmt, ob das ausgeleseneErkennungsergebnis (die Position und Form der Hand des Insassen)eine Änderungzeigt, die nach dem sich nach dem letzten oder vorhergehenden Leseprozessim Schritt 120 ergeben hat.
    [0037] Wenndas Bestimmungsergebnis im Schritt 130 negativ ist (d.h. wenn das Erkennungsergebnis ergibt, dass keine Änderungnach dem letzten Lesen erfolgt ist), kehrt die Steuerungsprozedurzum Schritt 110 zurück.Wenn andererseits das Bestimmungsergebnis im Schritt 130 positivist (d. h., wenn das Erkennungsergebnis eine Änderung nach dem letzten Lesenergibt), schreitet die Steuerungsprozedur im Schritt 140 fort.Im Schritt 140 wird ein Änderungsmuster der Positionoder Form der Hand des Insassen anhand der letzten Erkennungsergebnisse,die am Bildverarbeitungsabschnitt 26 erhalten werden, berechnet,und das berechnete Änderungsmuster wirdmit einem Betätigungsmusterverglichen, das im Betätigungsmusterspeicherabschnitt 28 gespeichert ist,um dadurch einen vom Insassen durch eine Bewegung der Hand des Insasseninnerhalb des virtuellen Raumes eingegebenen Auswahlbefehl zu erkennen.
    [0038] Inder dargestellten Ausführungsformwird das Betätigungsmuster,das währendder Anzeige des Betätigungseinheitauswahlbildesverwendet wird, so eingestellt, dass, wenn eine Hand des Insassen,die vor einem gewünschtenAuswahlblock, der angezeigt wird, ausgestreckt wurde, wie es in 4A gezeigt ist, bewegt wird,um den gewünschtenAuswahlblock zu drückenoder zu greifen, bestimmt wird, dass der gedrückte oder gegriffene Auswahlblock ausgewählt ist.
    [0039] Ineinem dem Schritt 140 folgenden Schritt 150 wirdbestimmt, ob eine Eingabe des Auswahlbefehls vom Nutzer durch denim Schritt 140 durchgeführtenAuswahlbefehlerkennungsprozess erkannt wurde. Wenn das Ergebnispositiv ist (das heißt, wenneine Eingabe des Auswahlbefehls erkannt wurde), zweigt die Steuerungsprozedurzu einem Schritt 180 ab. Wenn andererseits das Ergebnisnegativ ist (d. h. wenn eine Eingabe des Auswahlbefehls nicht erkanntwurde), schreitet die Steuerungsprozedur im Schritt 160 fort.Im Schritt 160 wird bestimmt, ob eine Widerrufsbetätigung bzw.eine Betätigungzum Widerruf durch den Nutzer durch den im Schritt 140 durchgeführten Auswahlbefehlerkennungsprozess erkanntwurde.
    [0040] DieWiderrufsbetätigungwird durch eine wedelnde Bewegung der Hand des Insassen nach links undrechts überden virtuellen Raum definiert. Der Schritt 140 führt au ßerdem eineIdentifikation der somit definierten Widerrufsbetätigung aufder Grundlage einer Bewegung der Hand des Insassen durch.
    [0041] Wenndas Ergebnis im Schritt 160 zeigt, dass die Widerrufsbetätigung nichterkannt wurde, kehrt die Steuerungsprozedur zum Schritt 110 zurück. Wennandererseits das Ergebnis im Schritt 160 zeigt, dass derWiderrufsbetrieb erkannt wurde, bedeutet dieses, dass die Betätigungseingabe,die den virtuellen Raum nutzt, widerrufen wurde. Somit schreitetdie Steuerungsprozedur in einem Schritt 170 fort, der dieAnzeige des Bildes beendet.
    [0042] DieCPU 12 ist so ausgelegt, dass sie sogar nach einer Beendigungder Steuerungsprozedur das Erkennungsergebnis vom Bildverarbeitungsabschnitt 26 ausliestoder erhältund einen Aktivierungsbefehlerkennungsprozess durchführt, umeinen Aktivierungsbefehl des Insassen auf der Grundlage eines Änderungsmusters,das fürdie Bewegung der Hand des Insassen erlangt wird, zu erkennen. Beider Erkennung des Aktivierungsbefehls des Insassen startet die CPU 12 erneutdie Steuerungsprozedur, um die Betriebsabläufe vom Schritt 110 anauszuführen.
    [0043] DerSchritt 180, der ausgeführtwird, wenn das Ergebnis im Schritt 150 zeigt, dass einAuswahlbefehl vom Insassen erkannt wurde, liest Anzeigedaten über Betätigungsartauswahlbilderaus und leitet die Anzeigedaten an den Anzeigesteuerabschnitt 22 weiter,so dass ein Betätigungsartauswahlbildinnerhalb des virtuellen Raumes angezeigt wird, um es dem Insassenzu ermöglichen,eine gewünschteBetätigungsart,die durch den Auswahlbefehl ausgewählt wird, auszuwählen.
    [0044] Demzufolgewerden Auswahlblöckebzw. -bälle,die jeweils eine Betätigungsartder durch den Insassen auswähl barenbetätigtenEinheit darstellen, innerhalb des virtuellen Raumes angezeigt. Inder dargestellten Ausführungsformwird zum Beispiel im Voraus bestimmt, dass die Betätigungsartender Klimaanlage umfassen: (a) eine Windrichtungseinstellbetätigung zumEinstellen der Blasrichtung von klimatisierter Luft von jedem vonvier Luftöffnungen bzw.-düsen,die jeweils an einem linken Ende, einem rechten Ende und an linkenund rechten Seiten in der Näheder Mitte eines vorderen Abschnitts bzw. Teils eines Fahrzeuginsassenabteilsangeordnet sind, (b) eine Temperatureinstellbetätigung zum Einstellen der Temperaturinnerhalb des Insassenabteils oder der Temperaturen der klimatisiertenLuft, die aus den einzelnen Luftöffnungenausgelassen wird, und (c) eine Betriebsmoduseinstellbetätigung zumEinstellen eines Betriebsmodus der Klimaanlage (zwischen einem Automatikmodusund einem manuellen Modus sowie zwischen einem Frischlufteinlassmodusund einem Raumluftzirkulationsmodus, wenn der manuelle Betätigungsmodusausgewähltist). In dem Fall, in dem der Auswahlblock, der die Klimaanlagerepräsentiert,unter drei Auswahlblöcken,die als jeweilige Betätigungseinheitauswahlbilderangezeigt werden, ausgewähltist, wie es in 4A gezeigtist, werden drei Auswahlblöckeoder -bälle,die jeweils eine der vorherigen drei Arten der Betätigung (a)–(c) repräsentieren,innerhalb des virtuellen Raumes angezeigt, als ob sie in der Luftschweben, wie es in 4B gezeigtist.
    [0045] Anschließend wirdin einem Schritt 190 das Ergebnis der Erkennung der Positionund Form einer Hand eines Insassen, das durch eine Bildverarbeitungerhalten wird, die hinsichtlich eines aufgenommen Bildes durchgeführt wird,auf die selbe Weise wie im Schritt 120 aus dem Bildverarbeitungsabschnitt 26 ausgelesen.Danach wird in einem Schritt 200 bestimmt, ob das ausgeleseneErkennungsergebnis (die Position und Form einer Hand des In sassen)eine Änderungnach dem letzten oder vorhergehenden Leseprozess im Schritt 190 ergibt.
    [0046] Wenndas Ergebnis im Schritt 200 negativ ist (d. h. wenn dasErkennungsergebnis keine Änderung nachdem letzten Lesen ergibt), kehrt die Steuerungsprozedur zum Schritt 180 zurück. Wennandererseits das Ergebnis im Schritt 200 positiv ist (d.h. wenn das Erkennungsergebnis eine Änderung nach dem letzten Lesenergibt), schreitet die Steuerungsprozedur im Schritt 210 fort.Im Schritt 210 wird ein Änderungsmuster der Positionoder Form der Hand des Insassen anhand der letzten Erkennungsergebnisse,die am Bildverarbeitungsabschnitt 26 erhalten werden, berechnet,und das berechnete Änderungsmusterwird mit einem Betätigungsmusterverglichen, das im Betätigungsmusterspeicherabschnitt 28 gespeichertist, um dadurch einen vom Insassen durch eine Bewegung seiner Handinnerhalb des virtuellen Raumes eingegebenen Auswahlbefehl zu erkennen.
    [0047] Dasin Kombination mit dem Betätigungsartauswahlbildzum Erkennen eines Auswahlbefehls verwendete Betätigungsmuster ist dasselbewie das in Kombination mit dem Betätigungseinheitauswahlbild zurErkennung eines Auswahlbefehls verwendete Betätigungsmuster. Genauer gesagtwird, wie es in 4B gezeigtist, das Betätigungsmusterso eingestellt, dass, wenn eine Hand des Insassen, die vor einemgewünschtenangezeigten Auswahlblock gestreckt wurde, so bewegt wird, als obsie den gewünschtenAuswahlblock drücktoder greift, bestimmt wird, dass der gedrückte oder gegriffene Auswahlblockausgewähltist.
    [0048] Ineinem dem Schritt 210 folgenden Schritt 220 wirdbestimmt, ob eine Eingabe des Auswahlbefehl vom Insassen durch denim Schritt 210 durchgeführtenAuswahlbefehlerkennungsprozess erkannt wurde. Wenn das Ergebnispositiv ist (d. h. wenn eine Eingabe des Auswahlbefehls erkanntwurde), zweigt die Steuerungsprozedur zu einem Schritt 240 ab. Wennandererseits das Ergebnis negativ ist (d. h. wenn eine Eingabe desAuswahlbefehls nicht erkannt wurde), schreitet die Steuerungsprozedurin einem Schritt 230 fort, in dem weiterhin bestimmt wird, obeine Widerrufsbetätigungdurch den Insassen durch den im Schritt 210 durchgeführten Auswahlbefehlerkennungsprozesserkannt wurde.
    [0049] Wenndas Ergebnis im Schritt 230 zeigt, dass die Widerrufsbetätigung nichterkannt wurde, kehrt die Steuerungsprozedur zum Schritt 180 zurück. Wennandererseits das Ergebnis im Schritt 230 zeigt, dass dieWiderrufsbetätigungerkannt wurde, bedeutet dieses, dass die Betätigung hinsichtlich der betätigten Einheit,die durch den Nutzer ausgewählt wurde,widerrufen wurde. Die Steuerungsprozedur kehrt dann zum Schritt 110 zurück.
    [0050] DerSchritt 240 wird ausgeführt,wenn das Ergebnis im Schritt 220 zeigt, dass ein Auswahlbefehldes Insassen erkannt wurde. In diesem Schritt 240 werdenBetätigungsbedingungender betätigten Einheit,die den Betätigungsarten,die durch den Auswahlbefehl ausgewählt werden, entsprechen, durch eineDatenkommunikation von der der betätigten Einheit zugeordnetenECU ausgelesen (d. h. der Klimaanlagen-ECU 30, Navigations-ECU 40 oderAudio-ECU 50).
    [0051] Anschließend werdenin einem Schritt 250 Anzeigedaten über den Betätigungsarten entsprechendeBetätigungsbefehleingabebildervom Anzeigedatenspeicherabschnitt 24 ausgelesen, und es wirdauf der Grundlage der Anzeigedaten und der Betätigungsbedingungen der betätigten Einheit,die im Schritt 240 erhalten werden, ein Betätigungsbefehleingabebildmit den darin reflektierten Betä tigungsbedingungenerzeugt und als endgültigeAnzeigedaten an den Anzeigesteuerabschnitt 22 ausgegeben. Anschließend wirdein Betätigungsbefehleingabebild, dasdie Betätigungsbedingungender betätigtenEinheit darstellt, im virtuellen Raum dreidimensional angezeigt.
    [0052] Wennzum Beispiel als eine Betätigungsart dieWindrichtungseinstellbetätigungausgewähltwird, währenddas Betätigungsartauswahlbildfür dieKlimaanlage wie in 4B angezeigtwird, erzeugt der Schritt 250 ein im virtuellen Raum alsein dreidimensionales Bild anzuzeigendes Bild. Wie es in 4C gezeigt ist, enthält das erzeugteBild ein Betätigungsbefehleingabebild,das von dem Anzeigedatenspeicherabschnitt 24 ausgelesenwird und das vier Luftöffnungenin einem Vorderteil eines Fahrzeuginsassenabteils zeigt, und einBild (das in der dargestellten Ausführungsform die Form eines Pfeilesannimmt), das die Blasrichtung klimatisierter Luft von einer jeweiligenLuftöffnungder Klimaanlage als derzeitige Betätigungsbedingungen zeigt, wobeidie beiden Bilder einander überlappendangeordnet sind.
    [0053] Anschließend wirdim Schritt 260 das Ergebnis der Erkennung der Positionund Form einer Hand eines Insassen, das durch eine Bildverarbeitung,die hinsichtlich eines aufgenommenen Bildes durchgeführt wird,erhalten wird, auf dieselbe Weise, wie es im Schritt 120 oderim Schritt 190 durchgeführtwird, von dem Bildverarbeitungsabschnitt 26 ausgelesen. Danachbestimmt ein Schritt 270, ob das ausgelesene Erkennungsergebnis(die Position und Form der Hand des Insassen) eine Änderungnach dem letzten oder vorhergehenden Leseprozess des Schritts 260 zeigt.
    [0054] Wenndas Ergebnis der Bestimmung im Schritt 270 zeigt, dassdas Erkennungsergebnis keine Änderungnach dem letzten Lesen anzeigt, kehrt die Steuerungsprozedur zumSchritt 240 zurück. Wennandererseits das Bestimmungsergebnis im Schritt 270 zeigt,dass das Erkennungsergebnis eine Änderung nach dem letzten Lesenanzeigt, schreitet die Steuerungsprozedur in einem Schritt 280 fort.Im Schritt 280 wird ein Änderungsmuster der Position oderForm der Hand des Insassen aus dem letzten Erkennungsergebnissen,die am Bildverarbeitungsabschnitt 26 erhalten werden, berechnet,und das berechnete Änderungsmusterwird mit einem Betätigungsmusterverglichen, das in dem Betätigungsmusterspeicherabschnitt 28 gespeichertist, um dadurch einen durch einen Insassen durch eine Bewegung seinerHand innerhalb des virtuellen Raumes eingegebenen Betätigungsbefehlzu erkennen.
    [0055] Dasin Kombination mit dem Betätigungsbefehleingabebildzur Erkennung eines Betätigungsbefehlsverwendete Betätigungsmusterwird, obwohl es sich mit der Form des Betätigungsbefehleingabebildes ändert, imAllgemeinen auf eine Änderungvon Betätigungsbedingungeneiner Einheit, die im Betätigungsbefehleingabebildangezeigt werden, eingestellt. Das Betätigungsmuster wird zum Beispielim Falle des in 4C gezeigtenBetätigungsbefehleingabebildesso eingestellt, dass, wenn eine Hand des Insassen, die vor einerder Luftöffnungenausgestreckt ist, fürdie sich der Insasse eine Änderungder Blasrichtung der klimatisierten Luft wünscht, in einer gewünschtenRichtung bewegt wird, erkannt wird, dass die Blasrichtung klimatisierterLuft von dem gewünschtenLuftzug in der Richtung der Bewegung der Hand des Insassen zu ändern ist.
    [0056] Ineinem dem Schritt 280 folgenden Schritt 290 wirdbestimmt, ob der Betätigungsbefehlvom Insassen durch den im Schritt 280 durchgeführten Betätigungsbefehlerkennungsprozesserkannt wurde. Wenn das Ergebnis positiv ist (d. h. wenn der Betätigungsbefehlerkannt wurde), schreitet die Steuerungsprozedur im Schritt 300 fort.Im Schritt 300 wird der im Schritt 280 erkannteBetätigungsbefehlan die ECU der betätigtenEinheit (d. h. der Klimaanlagen-ECU 30, Navigations-ECU 40 oderAudio-ECU 50) zur dem Betätigungsbefehl entsprechenden Steuerungeiner Betätigungder betätigtenEinheit übertragen.Danach kehrt die Steuerungsprozedur zum Schritt 240 zurück.
    [0057] DaBetätigungsbedingungender betätigten Einheit,die nach der Übertragungdes Betätigungsbefehleserlangt werden, im Schritt 240 ausgelesen oder erhaltenwerden, wird in diesem Beispiel ein Betätigungsbefehleingabebild, das über eineim folgenden Schritt 250 durchgeführte Anzeige angezeigt wird,die Betätigungsbedingungender betätigtenEinheit, die nach der Eingabe des Betätigungsbefehls erlangt werden,reflektieren, wie es in 4D gezeigt ist.Durch Beobachtung des Betätigungsbefehlseingabebildesist der Insasse in der Lage, ein Steuerungsergebnis, das nach derEingabe des Betätigungsbefehlseintritt, zu bestätigenbzw. bestätigtzu finden.
    [0058] Wennandererseits das Ergebnis im Schritt 290 negativ ist, (d.h. wenn der Betätigungsbefehl nichterkannt wurde), zweigt die Steuerungsprozedur zu einem Schritt 310 ab,in dem weiterhin bestimmt wird, ob eine Widerrufsbetätigung durchden Insassen durch den im Schritt 280 erzielten Betätigungsbefehlerkennungsprozesserkannt wurde.
    [0059] Wenndas Ergebnis im Schritt 310 zeigt, dass die Widerrufsbetätigung imSchritt 280 nicht erkannt wurde, kehrt die Steuerungsprozedurzum Schritt 240 zurück.Wenn andererseits das Ergebnis im Schritt 310 zeigt, dassdie Widerrufsbetätigungim Schritt 280 erkannt wurde, bedeutet dieses, dass die Betätigung,die hinsichtlich der Art der Betätigung, diedurch den Insassen ausgewähltwurde, eingegeben wurde, widerrufen wurde. Die Steuerungsprozedurkehrt dann zum Schritt 180 zurück.
    [0060] Wiees oben beschrieben ist, wird gemäß der Betätigungseingabevorrichtung dervorliegenden Erfindung ein dreidimensionales Bild zum Eingeben einesBetätigungsbefehlsin einem virtuellen Raum vor einem Sitz eines Navigators oder Fahrerseines Fahrzeugs angezeigt. Wenn ein Insasse, der auf dem Sitz sitzt,seine Hand innerhalb des virtuellen Raumes bewegt, wird ein Betätigungsbefehlanhand einer Bewegung der Hand des Insassen erkannt, und der erkannteBetätigungsbefehlwird an eine zu betätigendefahrzeuginterne Einheit übertragen.
    [0061] Mitder derart aufgebauten Betätigungseingabevorrichtungist der Insasse in der Lage, einen gewünschten Betätigungsbefehl in Bezug aufdie betätigteEinheit durch die Bewegung seiner Hand innerhalb des virtuellenRaumes einzugeben, während ervisuell das im virtuellen Raum fürdie Eingabe des Betätigungsbefehlsangezeigte dreidimensionale Bild bestätigt. Diese Prozedur verbessertdie Nutzbarkeit der Betätigungseingabevorrichtungund schließt wirksamdas Auftreten einer falschen Betätigung durchden Nutzer aus.
    [0062] Dasim virtuellen Raum angezeigte Betätigungsbefehleingabebild stelltderzeitige Betätigungsbedingungender betätigtenEinheit dar. Dementsprechend wird, wenn die betätigte Einheit entsprechend einemdurch den Insassen eingegebenen Betätigungsbefehl gesteuert wird,das Betätigungsbefehleingabebildentsprechend dem Ergebnis der Steuerung erneuert. Dieser Aufbauermöglichtes dem Insassen, Betätigungsbedingungen,die bei der betätigtenEinheit anschließendan die Eingabe des Betätigungsbefehlsauftreten, zu bestätigen.Außerdem kannsogar dann, wenn eine falsche Betätigung erfolgte, der InsassegewünschteBetätigungsbedingungender betätigtenEinheit durch Wiederholen der Eingabe des Bestätigungsbefehls während derBeobachtung des Betätigungsbefehlseingabebildes leichtwiederherstellen. Dieses verbessert die Nutzbarkeit der Betätigungseingabevorrichtungnoch weiter.
    [0063] Umeine detaillierte Betätigungmehrerer fahrzeuginterner Einheiten (d. h. eine Klimaanlage, eineNavigationseinheit und eine Audioeinheit) zu ermöglichen, ist die Betätigungseingabevorrichtungmit drei unterschiedlichen Arten von Bildern, die im virtuellemRaum als dreidimensionale Bilder angezeigt werden, versehen. Diedrei unterschiedlichen Arten von Bildern enthalten ein Bild zurAuswahl einer zu betätigendenEinheit, ein Bild zur Auswahl einer durchzuführenden Art der Betätigung hinsichtlichder betätigtenEinheit und ein Bild fürdie Eingabe eines der ausgewähltenArt von Betätigungentsprechenden Betätigungsbefehls.Diese Bilder werden als dreidimensionale Bilder innerhalb des virtuellenRaumes angezeigt. Durch schrittweise Änderung der Bilder kann derInsasse leicht eine gewünschtebetätigteEinheit unter mehreren fahrzeuginternen Einheiten oder eine gewünscht Artder Betätigungunter vielen Arten der Betätigungauswählen.
    [0064] Inder dargestellten Ausführungsformbildet die durch die Betätigungseingabe-ECU 10 durchgeführte Steuerungsprozedureine erfindungsgemäße Steuereinrichtung.Insbesondere bilden die Schritte 120, 130, 190, 200, 260 und 270,die zur Erkennung einer Bewegung und/oder Form der Hand des Insassenausgeführtwerden, und der Bildverarbeitungsabschnitt 26 in der Betätigungseingabe-ECU 10 eineerfindungsgemäße Erkennungseinrichtung.
    [0065] Obwohlnur eine Ausführungsformder Erfindung beschrieben wurde, ist es selbstverständlich, dassandere Ausführungsformenund Modifikationen der Erfindung möglich sind.
    [0066] Inder dargestellten Ausführungsformist die Erfindung zum Beispiel als eine Fahrzeugbetätigungseingabevorrichtungzur Betätigungmehrerer fahrzeuginterner Einheiten ausgeführt. Dieselben oben beschriebenenWirkungen bzw. Vorteile können aucherzielt werden, wenn die Erfindung als eine Betätigungseingabevorrichtung ausgeführt ist,die ausgelegt ist, eine einzige fahrzeuginterne Einheit oder eineoder mehrere andere Einheiten als die fahrzeuginternen Einheitenzu betätigen.
    [0067] Imletzteren Fall ist die Erfindung insbesondere vorteilhaft, wennsie als ein Bahnfahrscheinverkaufsgerät ausgeführt ist, wobei der Nutzer Knöpfe aufeinem Betätigungspaneelbetätigenmuss, währender auf andere Anzeigeeinrichtungen wie zum Beispiel eine Fahrpreistabelleguckt. Bei einer derartigen Anwendung ist es ersichtlich, dass dasBahnfahrscheinverkaufsgerätausgelegt ist, eine als ein dreidimensionales Bild innerhalb einesvirtuellen Raumes angezeigte Bahnkarte bereitzustellen, die Bahnkarteauf eine durch den Nutzer zur Bewegung der Bahnkarte unter Verwendungdes dreidimensionalen Bildes durchgeführte Tätigkeit hin zu ändern undeinen Fahrpreis anzuzeigen, wenn der Nutzer ein Endziel auf derangezeigten Bahnkarte identifiziert. Durch einen derartigen Aufbaudes Bahnfahrkartenverkaufsgerätskann der Nutzer eine gewünschteBahnfahrkarte mit größerer Leichtigkeitim Vergleich zu herkömmlichenBahnfahrkartenverkaufsgerätenkaufen.
    [0068] Obwohlin der oben erläutertenAusführungsformeine Beschreibung einer Steuerungsprozedur, die zur Betätigung derNavigationseinheit dient, weggelassen wurde, ist es ersichtlich,dass, wenn eine Karte auf einem Anzeigeschirm der Navigationseinheitzu ändernist, eine Karte als ein dreidimensionales Bild im virtuellen Raumangezeigt und auf eine Tätigkeitdes Insassen hin, die zur Bewegung der Karte auf dem dreidimensionalenBild dient, geändert wird,wobei sich die Karte auf dem Anzeigeschirm der Navigationseinheitentsprechend ändert.Somit ändertsich, wenn der Insasse eine Betätigungzur Bezeichnung einer Ansicht auf dem dreidimensionalen Bild durchführt, dieKarte auf der Navigationseinheit entsprechend der gewünschtenAnsicht.
    [0069] Inder dargestellten Ausführungsformist die Bildaufnahmevorrichtung 6 als eine einzige Bildaufnahmevorrichtungbeschrieben. Dieses kommt daher, dass die Position eines Insassen,der z.B. auf einem Fahrersitz des Fahrzeugs sitzt, im Allgemeinen festgelegtist und sich nicht großartig ändert, sodass nur die Verwendung eines Bildes, das von einer einzigen Richtungaufgenommen wird, Bewegungen einer Hand des Insassen identifizierenkann. Wenn die Erfindung füreine Vorrichtung angewendet wird, bei der die Position eines Nutzersnicht festgelegt ist, werden mehrere Bildaufnahmevorrichtungen verwendet,um eine entsprechende Anzahl von Bildern des Nutzers aufzunehmen,so dass eine Bewegung einer Hand eines Nutzers auf der Grundlageder aufgenommenen Bilder erkannt wird.
    [0070] Auf ähnlicheWeise ist es im Falle einer Betätigungseingabevorrichtung,bei der die Position des Nutzers nicht festgelegt ist und sich diePosition der Augen des Nutzers stark verändern, schwierig, ein dreidimensionalesBild innerhalb eines virtuellen Raumes zur Betätigung durch den Nutzer genauanzuzeigen. In diesem Fall ist es vorteilhaft, die Position desNutzers (noch genauer die Position der Augen des Nutzers) zu erfassenund eine Parallaxe von stereoskopischen Bildern, die auf dem Flüssigkristallanzeigenpaneeleiner Flüssigkristallanzeigeanzuzeigen sind, auf der Grundlage eines Erfassungsergebnisses einzustellen.
    [0071] Diein der dargestellten Ausführungsformbeschriebene Flüssigkristallanzeige 2,die einen notwendigen Teil der dreidimensionalen Bildanzeigeeinrichtungbildet, dient nur zum Zwecke der Erläuterung und ist nicht als einschränkend zubetrachten. Die dreidimensionale Bildanzeigeeinrichtung kann andereArten von Anzeigen beinhalten, solange sie dem Nutzer ein dreidimensionalesBild anzeigen können. Gemäß einemBeispiel derartiger Anzeigen werden ein Bild für ein linkes Auge und ein Bildfür einrechtes Auge Seite an Seite auf einem einzigen Flüssigkristallanzeigepaneelangezeigt, und die Richtung der Anzeige der Bilder wird durch einenSchalter wie zum Beispiel eine Flüssigkristallblende gewechselt,so dass die jeweiligen Bilder durch die entsprechenden Augen desNutzers gesehen werden. In einem anderen Beispiel wird ein besonderesOkular (eyeglass) verwendet, um ein dreidimensionales Bild zu beobachten.
    [0072] Essind verschiedene kleinere Änderungen undModifikationen innerhalb der obigen Lehre denkbar. Selbstverständlich kanndie vorliegende Erfindung innerhalb des Bereiches der zugehörigen Ansprüche andersals wie es oben speziell beschrieben ist ausgeführt sein.
    权利要求:
    Claims (3)
    [1] Betätigungseingabevorrichtung,die aufweist: eine Bildanzeigeeinrichtung zum Anzeigen eines dreidimensionalenBildes in einem vorbestimmten virtuellen Raum; eine oder mehrereBildaufnahmeeinrichtungen zum Aufnehmen eines Bildes in einem Bereicheinschließlichdem virtuellen Raum; eine Erkennungseinrichtung zum Erkenneneiner Bewegung einer Hand eines Nutzers innerhalb des virtuellenRaumes anhand des von der Bildaufnahmeeinrichtung aufgenommenenBildes; und eine Steuereinrichtung zum Ansteuern der Bildanzeigeeinrichtung,um ein dreidimensionales Bild zur Betätigung einer zu betätigendenVorrichtung anzuzeigen, zum Identifizieren eines durch den Nutzerausgegebenen Betätigungsbefehlsanhand der Bewegung der Hand des Nutzers, die durch die Erkennungseinrichtungerkannt wird, währenddas dreidimensionale Bild angezeigt wird, zum Veranlassen, dasssich das dreidimensionale Bild, das durch die Bildanzeigeeinrichtungangezeigt wird, entsprechend dem identifizierten Betätigungsbefehl ändert, und zumAusgeben des Betätigungsbefehlsan die zu betätigendeVorrichtung.
    [2] Betätigungseingabevorrichtungnach Anspruch 1, wobei die Steuereinrichtung vor der Ansteuerungder Bildanzeigeeinrichtung zum Anzeigen des dreidimensionalen Bildeszur Betätigungder zu betätigendenVorrichtung die Bildanzeigeeinrichtung zum Anzeigen eines dreidimensionalesBildes ansteuert, um es einem Nutzer zu ermöglichen, eine Auswahl einerzu betätigendenVorrichtung oder einer Art einer Betätigung einer zu betätigendenVorrichtung durchzuführen,die zu betätigendeVorrichtung oder die Art der Betätigung,die durch den Nutzer ausgewähltwird, anhand der Bewegung der Hand des Nutzers, die durch die Erkennungseinrichtungerkannt wird, identifiziert, währenddas dreidimensionale Bild angezeigt wird, und anschließend entsprechendeinem Ergebnis der Erkennung die Bildanzeigeeinrichtung ansteuert,um ein dreidimensionales Bild zur Betätigung der zu betätigendenVorrichtung anzuzeigen.
    [3] Betätigungseingabevorrichtungnach Anspruch 1 oder 2, wobei die Betätigungseingabevorrichtung eineVorrichtung ist, die durch einen Insassen eines Fahrzeugs zur Betätigung einerfahrzeuginternen Einheit betätigbarist, wobei die Bildanzeigeeinrichtung vor einem Sitz des Fahrzeugsangeordnet und ausgelegt ist, das dreidimensionale Bild einem Insassen,der auf dem Sitz sitzt, anzuzeigen, wobei der virtuelle Raum durcheinen Raum ausgebildet ist, in den der Insasse des Sitzes seineHand Strecken kann, und wobei die Bildaufnahmeeinrichtung zusammenmit der dreidimensionalen Bildanzeigeeinrichtung vor dem Sitz desFahrzeugs angeordnet und ausgelegt ist, ein Bild des Insassen desSitzes von vorne vor dem Insassen aus aufzunehmen.
    类似技术:
    公开号 | 公开日 | 专利标题
    EP3124319B1|2018-10-03|Fahrzeugsitzsteuerungssystem
    US10474911B2|2019-11-12|Smart parking assist apparatus and method
    US10124648B2|2018-11-13|Vehicle operating system using motion capture
    US20150234569A1|2015-08-20|Vehicle user interface unit for a vehicle electronic device
    CN104421416B|2017-12-22|弹出型电子自动换档杆
    CN1865849B|2010-09-08|影像显示装置及影像显示方法
    US8139087B2|2012-03-20|Image presentation system, image presentation method, program for causing computer to execute the method, and storage medium storing the program
    US6295064B1|2001-09-25|Image perspective control for video game images
    US9077861B2|2015-07-07|Image processing apparatus, electronic apparatus, and image processing method
    KR101675181B1|2016-11-10|사용자 인터페이스 동작 방법 및 장치
    KR101443021B1|2014-09-22|얼굴 등록 장치, 방법, 포즈 변화 유도 장치 및 얼굴 인식 장치
    DE19901896B4|2009-07-02|Fahrzeuganzeigesystem mit Fahrtdurchsetzungssteuerung
    DE202014104297U1|2015-01-23|Kraftfahrzeug- und Industriebewegungssensorvorrichtung
    JP5302227B2|2013-10-02|画像処理装置、画像処理システム、および、画像処理方法
    DE602004010585T2|2009-01-08|Fahrzeug-Rückwärtsfahrassistent und Fahrzeug-Parkassistent
    US8010283B2|2011-08-30|Driving evaluation system and server
    CN103019524B|2016-12-21|车辆操作输入装置和用于车辆操作输入装置的控制方法
    JP5316550B2|2013-10-16|後方視界支援システム
    CN103786647B|2017-11-21|用于控制多功能镜上的图像显示的装置和方法
    JP6237725B2|2017-11-29|Crew information acquisition device and vehicle control system
    CN208207729U|2018-12-07|一种用于操作车辆的车辆操作系统及一种电动车辆
    US7574018B2|2009-08-11|Virtual reality scene generator for generating training images for a pattern recognition classifier
    US20060066567A1|2006-03-30|System and method of controlling scrolling text display
    JP3651204B2|2005-05-25|Stereoscopic image display device, stereoscopic image display method, and recording medium
    US8355813B2|2013-01-15|Machining status monitoring method and machining status monitoring apparatus
    同族专利:
    公开号 | 公开日
    US20040254699A1|2004-12-16|
    JP2004334590A|2004-11-25|
    FR2854697A1|2004-11-12|
    引用文献:
    公开号 | 申请日 | 公开日 | 申请人 | 专利标题
    法律状态:
    2010-09-16| 8110| Request for examination paragraph 44|
    2011-07-11| R016| Response to examination communication|
    2011-07-26| R016| Response to examination communication|
    2011-07-28| R002| Refusal decision in examination/registration proceedings|
    2011-09-03| R003| Refusal decision now final|
    2011-10-17| R016| Response to examination communication|
    2011-12-08| R003| Refusal decision now final|Effective date: 20110903 |
    优先权:
    申请号 | 申请日 | 专利标题
    [返回顶部]